Multi-Agent Routing as Set-Valued Prediction: A WildChat Benchmark and Cost-Aware Evaluation
多智能体路由作为集合值预测:WildChat 基准与成本感知评估
🧭 多智体路由的集合预测与成本权衡
Ahsanullah University of Science and Technology
将多智能体路由建模为集合预测问题,构建基准并引入成本感知评估协议,证明监督路由显著优于零样本 LLM
📌 工作参考价值(4 点)
- 将路由建模为集合预测而非 Top-1 选择,更贴合真实多步查询需求,可直接采用 Precision/Recall/F1/Jaccard 等集合指标评估。
- 在固定智能体目录下,简单线性多标签分类器是强实用基线;无需大模型即可获得较高路由精度,适合低延迟场景。
- 成本约束场景下,在监督打分器之上叠加 Weighted Agent Routing (WAR) 后处理层,能通过成本 tier 阈值调整有效提升效用,且实现轻量。
- 可借鉴 capability-coverage 仿真方法,在离线评估路由系统时模拟智能体失败对系统鲁棒性的影响。